De heerlijkheid Haversin hing af van Serinchamps, een leengoed van de abdij van Stavelot.
In 1602 lieten de toenmalige eigenaars, de familie Waha, het kasteel optrekken in een vallei waardoor nu een straat loopt. Langs drie kanten is uit de 17de eeuw daterende hoofdgebouw door grachten omsloten. De omkaderingen van de vensters met blauwe, behouwen ankerstenen op de lange voorgevel is duidelijk op de Lodewijk XIII-stijl geïnspireerd. De stevige toren is met een paviljoenachtig dak bekroond en is amper hoger dan het hoofdgebouw.
Het kasteel van Haversin komt in het begin van de 19de eeuw in handen van de familie de Bonhome en blijft dat tot in 1922. Na een verbouwing werd het verkocht aan de familie de Ribaucourt, die het bewoonde tot in 1978. In 1986 wordt het imposante gele kasteel van Haversin eigendom van een Antwerpse ondernemer die het volledig restaureerde.